![arxiv：2401.12503v1 [cs.cv] 2024年1月23日](/simg/7/786803f14f5e0d9d6b2c0b5b410ecc428b293fc8.webp)
机构名称：
¥ 1.0
在2023年演奏大型视觉语言模型（LVLM）在AI社区中很流行。但是，相对较大的参数（超过7b）流行的LVLM使训练和部署在消费者GPU上，阻止许多资源有限的研究人员。想象一下在旧的GTX1080TI（我们唯一的游戏卡）上体验当前LVLM的所有功能将有多酷。因此，我们在本报告中介绍了各种大小，而QWEN-1.8B则是基本的“大”语言模型。在Vary Toy中，我们引入了改进的视觉词汇，使该模型不仅具有变化的所有功能，而且还具有更多的一般性。具体来说，我们用由对象检测驱动的正面样本数据代替了自然图像的负面样本，在生成视觉词汇的过程中，更充分地利用了词汇网络的能力，并使其能够有效地编码与自然对象相对应的视觉信息。对于实验，Vary-Toy可以在DOCVQA上获得65.6％的ANL，ChartQA的精度为59.1％，Refcoco的精度为88.1％，MMVET的精度为29％。该代码将在主页上公开可用。
arxiv：2401.12503v1 [cs.cv] 2024年1月23日
主要关键词
![arxiv：2401.12503v1 [cs.cv] 2024年1月23日PDF文件第1页](/bimg/a/aa39152890b721261b567b4c4155b59a27fe099c.webp)
![arxiv：2401.12503v1 [cs.cv] 2024年1月23日PDF文件第2页](/bimg/d/dfad939784f172f29d3b16bb40922ab461711d5b.webp)
![arxiv：2401.12503v1 [cs.cv] 2024年1月23日PDF文件第3页](/bimg/f/f26c208cee2835dfda638f332e69fa031bc62604.webp)
![arxiv：2401.12503v1 [cs.cv] 2024年1月23日PDF文件第4页](/bimg/c/c6db9391826b577043c669ff53d74e8918a8ec98.webp)
![arxiv：2401.12503v1 [cs.cv] 2024年1月23日PDF文件第5页](/bimg/a/abd1d16358e82ff86da011b22c0322ac52e7cde9.webp)
相关文件推荐
![arxiv：2401.13011v1 [CS.CV] 2024年1月23日](/simg/6/67707d93a68d8de92fb0df09f0166afe1e307108.webp)
![arxiv：2401.12566v1 [CS.CL] 2024年1月23日](/simg/2/27575826a7019338d931135a4b390b1bdc07060b.webp)
![arxiv：2401.08089v1 [cs.cl] 2024年1月16日](/simg/8/8c866ee83bbfb95dbb1f2defbf80395ca3287ed8.webp)
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日](/simg/b/b4bb20bd0a066ee3c44f89d87c62f33a6ee27273.webp)
![arxiv：2401.13306v1 [cs.cr] 2024年1月24日](/simg/a/acf20ef0da17afc6a37d80fffa4cef2357b64711.webp)
![arxiv：2401.04495v1 [cs.cr] 2024年1月9日](/simg/c/c4a747a940d55cea2cb2c49a6785efcebd936a32.webp)
![arxiv：2401.07333v1 [cs.cl] 2024年1月14日](/simg/0/09167acb54f1a276e1d04e10d2db512eb682cbbc.webp)
![arxiv：2401.11194v1 [cs.hc] 2024年1月20日](/simg/1/1a3f9ea1c0460303812f0f826c92b9a3cf68e8e6.webp)
![arxiv：2401.05968v1 [cs.cv] 2024年1月11日](/simg/3/33efe67402bfe23c5057d0aa0708a382552940d6.webp)
![arxiv：2401.05233v1 [cs.lg] 2024年1月10日](/simg/1/165b5a4a843a79a37ad3922732811d40d501167f.webp)
![arxiv：2401.06521v1 [cs.cv] 2024年1月12日](/simg/a/ac4e8a79e62bb77bebd81435441586ea29fdf974.webp)
![arxiv：2401.01629v1 [cs.lg] 2024年1月3日](/simg/1/1904bc517d8e8e8c1dd7feb32aa47246b6aebc73.webp)
![arxiv：2401.01814v1 [cs.ai] 2024年1月3日](/simg/9/9e22f37b844b140e65a21cb38f0226d32812aded.webp)
![arxiv：2401.08196v1 [cs.cr] 2024年1月16日](/simg/5/5bb0478276a4b028ca3fad6d478119cce0aad711.webp)
![arxiv：2401.05414v2 [q-fin.st] 2024年1月12日](/simg/0/09ca1efd937b478ec478832f1f16de9fd3ae2f01.webp)
![arxiv：2401.08549v1 [Quant-ph] 2024年1月16日](/simg/9/9023a2cae2b92ba3904b41dfdedafe6c0af45cfb.webp)
![arxiv：2401.03458v1 [eess.as] 2024年1月7日](/simg/9/9d16057ad883e44d940c8384ce580ad19bcfbe65.webp)
![arxiv：2401.13898v1 [cs.lg] 2024年1月25日](/simg/e/e2e70efbe299b0e5bb5feec744f77810e8091c14.webp)
![arxiv：2401.06705v1 [Quant-ph] 2024年1月12日](/simg/1/116e691f70677fe37a4618de363a5823da831b37.webp)
![arxiv：2401.07265v1 [Quant-ph] 2024年1月14日](/simg/e/e05524124b2b8b2904bd1be7db3d54b5351cdf19.webp)
![arxiv：2401.05152v1 [cs.ro] 2024年1月10日-Orbilu](/simg/e/ef4fd1d7b2f276ecd818e7f6c15dc268bf9d3b44.webp)
![arxiv：2401.15177v1 [astro-ph.ep] 2024年1月26日](/simg/c/cdea3285fd3fa4e29ea99a2a6e811cd67dc29c68.webp)
![arxiv：2401.04291v1 [hep-ph] 2024年1月9日](/simg/2/2eb580a22e5ba473df6a08b0340d5b8a9d6e2d70.webp)
![arxiv：2401.02355v1 [Quant-ph] 2024年1月4日](/simg/d/d6bdb8f49131806733e5a9ee48e9f7a807f79467.webp)
![arxiv：2401.16208v1 [hep-ph] 2024年1月29日](/simg/c/c892bb3e7837bb02ea448926724b7b4181832ccc.webp)
![arxiv：2401.11228v1 [CS.CV] 2024年1月20日](/simg/4/4dd72e7eae90a1bcd34bf09c3f1c60e8cf6393ea.webp)
![arxiv：2401.05577V4 [CS.CV] 2024年11月23日](/simg/a/a60e4bedb6538f3cf93ce3f4de82e737177a79a1.webp)
![arxiv：2401.17430v1 [stat.me] 2024年1月30日](/simg/2/22b225fd48fd1c357aa1bef9e0dee2a10d4ca273.webp)
![arxiv：2305.10811v2 [Quant-PH] 2024年1月23日](/simg/4/497bad8dd5a8d24d2dea7bb1cf1c70c624c874f9.webp)